Tòa nhà Jeu de Paume được xây dựng năm 1861 dưới thời Napoléon III trong khu vườn Tuileries[3]. Mục đích ban đầu, đúng như cái tên, công trình được dành cho phòng chơi jeu de paume. Từ năm 1909, công trình trở thành phòng triển lãm nghệ thuật. Đến năm 1922, sau khi được sửa chữa lại, Jeu de Paume trở thành một bào tàng trưng bày thường xuyên và vẫn tiếp tục giữ chức năng phòng triển lãm. Từ khoảng thời gian này, Jeu de Paume là nơi lưu trữ, trưng bày các tác phẩm trường phái ngoại quốc đương đại.

Từ năm 1930, nhờ chính sách mua lại, Jeu de Paume có thêm nhiều tác phẩm thuộc trường phái Paris như của các họa sĩ Amedeo Modigliani, Kees Van Dongen, Pablo Picasso, Marc Chagall... Từ 1932, Jeu de Paume có được dáng vẻ như hiện nay. Trước Chiến tranh thế giới thứ hai, đây vẫn là nơi dành cho các cuộc triển lãm nghệ thuật hiện đại. Khi Paris bị chiếm đóng, Quân đội Đức trưng dụng Jeu de Paume, bảo tàng trở thành nhà kho.

Năm 1947, bảo tàng mang tên Jeu de Paume chính thức được thành lập, trở thành nơi trưng bày các tác phẩm hội họa Trường phái ấn tượng. Tới năm 1957, một lần nữa Jeu de Paume được sửa chữa, các phòng được trang bị điều hòa không khí và thiết kế tận dụng ánh sáng tự nhiên. Tuy vậy, không gian của Jeu de Paume trở nên nhỏ hẹp bởi lượng khách viếng thăm qua đông. Năm 1986, bảo tàng Orsay mở cửa. Bộ sưu tập Ấn tượng của Jeu de Paume được chuyển về bảo tàng mới.

Tháng 9 năm 1987, kiến trúc sư Antoine Stinco được chọn để thực hiện cải tạo lại tòa nhà. Không thay đổi vẻ bên ngoài, Antoine Stinco thiết kế lại nội thất, tạo thêm các không gian triển lãm, một khánh phòng, một hiệu sách và quán cà phê. Các phòng đón ánh sáng tự nhiên, mở ra vườn Tuileries, quảng trường Concorde, về hướng sông Seine và điện Invalides. Tháng 7 năm 1991, Tổng thống François Mitterrand khánh thành Phòng trưng bày quốc gia Jeu de Paume.

Hiện nay Jeu de Paume được dành cho các triển lãm nghệ thuật hiện đại và đương đại. Từ 2004, phòng trưng bày bắt đầu được cả dành cho thể loại điện ảnh và video[1].